最新综述：对话式检索数据集汇总

©PaperWeekly 原创 · 作者 | 金金

单位 | 阿里巴巴研究实习生

研究方向 | 推荐系统

简介

对话式检索近年来成为了信息检索中的研究热点，但是该研究领域一直存在数据资源缺乏的问题，一方面没有现有的对话式检索系统收集真实场景的数据，另一方面用户实验模拟产生的数据集规模不足以支撑深度学习模型的训练，本文首先讲介绍以下两种数据集：

• 用户实验数据集：通过人来扮演 machine agent，从而研究对话式检索的特点；

• 单一任务数据集：规模较大、但是只能完成对话式检索中一个子任务的数据集。

最后我们将介绍今年 SIGIR 上提出的第一个可以完整训练对话式检索整个流程的数据集 WISE。

用户实验数据集

为了确定我们是否需要对话式检索及其特征，研究人员进行了不同的用户研究。

2.1 MISC

MISC [1] 是人类“seeker”与“agent”之间口头对话的记录集。它旨在支持对以下问题的研究：人类 agent 是否表现出与 seeker 满意度相关的行为？seeker 是否显示我们可以用作在线指标基线的，适合于对话 agent 的行为？礼貌或其他对话规范起什么作用？我们在寻求信息的对话中看到了哪些策略，特定的结构是否有助于或阻碍进步或满意度？MISC 已用于未出版的有关这些问题，对话风格，多式联运和下面描述的对话结构的工作。

具体来说，任务被分配给“seeker”，该“seeker”负责收集信息并确定最终答案。它们通过音频链接连接到“agent”，后者代表未来的软件代理。agent 可以不受限制地访问网络，包括搜索引擎。作者录制了两位参与者的视频和音频。具体的实验流程如下所示。

MISC 数据包括音频和视频信号；搜索记录；韵律和语言信号；有关人口统计和个性的入门问题；以及关于情绪，参与和努力的任务后调查。屏幕记录以及情感和生理信号数据也可提供。

2.2 SCSData

SCSdata [2] 包含两个参与者之间口头信息搜索过程的话语转录。SCSdata 是在此实验设置中创建的第一个数据集。这也是第一个 SCS 数据集，标注了动作或话语的标签，尽管仅在前三轮中。

创建 SCSdata 的目的是调查两个参与者之间的交互行为，包括帮助我们理解诸如以下的问题；纯音频交互对搜索有何影响？信息密集型文档如何在纯音频设置中传输？通过音频进行信息寻求过程的组成部分或动作是什么，以及查询复杂性对口语对话搜索中的交互作用和交互作用有什么影响？SCSdata 已用于数据集的创建者发表的研究中，并且最近也已被更广泛的 IR 社区用于研究中。

具体来说，数据包括音频信号的转录，代码簿和前三轮对话的标签，以及设置中使用的背景故事。由于道德规范，其他数据（例如音频，视频，任务前和任务后调查表）不可用。

2.3 Conversational Legal Case Retrieval

近年来，类案法律案例检索在 IR 研究界引起了很多关注。它旨在针对给定的查询案例检索支持案例，并为更好的法律体系做出贡献。使用法律案件检索系统时，用户通常难以构造准确的查询来表达他们的信息需求，尤其是当他们缺乏足够的领域知识时。由于对话搜索已得到广泛满足，可以满足用户的复杂性和探索性信息需求。

因此，在 SIGIR 21 中，本文 [3] 作者调查了是否可以采用对话式检索范式来改善用户的类案检索体验。作者设计了一个用户实验，以收集用户的互动行为和明确的反馈信号，同时使用传统的和 agent 中介的对话式类案检索系统。根据收集的数据，作者比较这两种不同类型的交互范例的搜索行为和结果。实验结果表明，与传统的案例检索系统相比，用户可以获得更好的检索性能。此外，对话系统还可以节省用户制定查询和检查结果的工作量。

单一任务数据集

3.1 CAsT

该语料库 [4] 是来自 TREC 综合答案检索（CAR）和 Microsoft 机器阅读理解（MARCO）数据集的 38426252 个段落，包含八十个信息需求的对话（三十个用于训练，五十个用于测试），平均包含 9 到 10 个问题。对话可以广泛地探讨主题，也可以深入探讨子主题。问题中包含省略号，隐含的上下文，轻微的话题转移以及人类对话的其他特征，这些特征可能会阻止他们被孤立地理解。

具体来说，CAsT 给定自然语言问题，返回可以呈现给人或传递给下游语言处理任务。信息需求（主题）是根据以前的 TREC 主题（例如，Common Core 和 Session Track），MS MARCO 会话和普遍感兴趣的主题构建的。信息需求被设计成复杂的（需要多轮详细说明），多样的（不同的信息类别），开放域（不需要专家知识来访问）并且易于回答（集合中有足够的覆盖面）。主题被设计为具有信息性，不需要时空或外部背景，不包括个人或主观决定，避免敏感或有争议的主题，下面给出的是一个例子。

3.2 MIMICS

最近，由于其在搜索引擎中的应用，澄清搜索已引起了广泛的关注。它也被认为是对话式搜索系统中的主要组成部分。尽管它很重要，但研究界仍然感到缺乏用于研究搜索澄清各个方面的大规模数据。MIMICS 是从 Bing 查询日志中采样的用于实际 Web 搜索查询的搜索澄清数据集的集合。MIMICS [5] 中的每个澄清都是由 Bing 生成算法生成的，并且由一个澄清问题和最多五个候选答案组成。 

MIMICS 包含三个数据集：（1）MIMICS-Click 包含超过 40 万个唯一查询，其相关的澄清窗格以及相应的汇总用户交互信号。（2）MIMICS-ClickExplore 是一个探索数据，其中包括针对 6 万多个唯一查询的聚合用户交互信号，每个查询都有多个澄清窗格。

（3）MIMICS-Manual 包含超过 2k 的唯一实际搜索查询。该数据集中的每个查询-澄清对均已由至少三个训练有素的注释者手动标记。它包含用于澄清问题的分级质量标签，候选答案集以及每个候选答案的到达结果页面。研究人员研究了许多与搜索澄清相关的任务，包括澄清生成和选择，用于澄清的用户参与预测，用于澄清的点击模型，以及与搜索澄清一起分析用户交互。

WISE

对话式信息搜寻（CIS）在将人们与信息联系起来方面发挥着越来越重要的作用。由于缺乏合适的资源，以前对 CIS 的研究仅限于概念框架的研究，基于实验室的用户研究或 CIS 的特定方面（例如，提出明确的问题）。 

在这项工作 [6] 中，作者为促进对 CIS 的研究做出了三个主要贡献：（1）为 CIS 制定了一个包含六个子任务的流程：意图检测，关键词提取，动作预测，查询选择，段落选择和响应生成。（2）发布了一个基准数据集，称为搜索引擎向导（WISE），它可以对 CIS 的各个方面进行全面而深入的研究。

（3）设计了一种能够对六个子任务进行联合和分别训练和评估的神经体系结构，并设计了一种预训练/微调学习方案，可以充分利用 WISE 的规模，从而降低其需求可用数据。

具体来说，首先，作者从商业搜索引擎的搜索日志中收集了一组 1196 个搜索意图。每个搜索意图均基于特定的搜索会话。要求工作人员根据自己的想象力推断其背后的搜索意图，并写下描述。然后生成对话流程如下。

• 搜索者随机地选择搜索意图，并从直接问问题或说出问候开始。发送消息时，要求搜索者选择一个最能描述消息意图的标签。
• 每当 agent 接收到来自搜索者的消息时，他/她就需要从会话历史中提取关键字短语，这些关键字短语用于从搜索引擎获取结果。然后，他/她必须选择一个标签，以反映他/他将要采取的行动。在那之后，他/她需要选择相关的查询和/或文档，基于这些查询和/或文档来制定响应。
• 重复对话，直到搜索者结束聊天为止（每次至少 7 轮对话之后）。对于每个回合，搜索者和 agent 都可以通过单击“发送另一条消息”选项一次发送多条消息。

建立数据集花了 24 个参与者 3 个月的时间。收集的最终数据集由 1905 个会话组成，这些会话包含 1956 个搜索意图中的 37956 轮对话。数据集总共包含 12 个不同的 Intent 和 23 个不同的 Action，涵盖了各种对话主题，例如文学，娱乐，艺术等。每个对话包含 7 到 42 轮。每个对话的平均轮数为 19.9。每轮平均有 27.3 个字。

作者将数据分为 705 个对话进行训练，200 个对话进行验证和 1000 个对话进行测试。测试集分为两个子集，即 test（seen）和 test（unseen）。test（seen） 数据集包含 442 个和训练集重叠的搜索意图。test（unseen）由 500 个搜索意图组成，这些意图在训练或验证中从未见过。

总结

经过几年的发展，对话式搜索的工作流程已经被比较好的总结出来，并且可以完整训练模型的数据集已经诞生，但是数据量和模型效果仍然有限，这需要研究者们进一步获取更大的数据集和开发更适合该场景的模型。

参考文献

[1] Paul Thomas, Daniel McDuff, Mary Czerwinski, and Nick Craswell. 2017. MISC: A data set of information-seeking conversations. In Proc. Int. Workshop on Con- versational Approaches to Information Retrieval.

[2] Johanne R.Trippas,Damiano Spina,Lawrence Cavedon,Hideo Joho,and Mark Sanderson. 2018. Informing the design of spoken conversational search: Perspective paper. In Proc. ACM SIGIR Conf. on Human Information Interaction and Retrieval. 32–41.

[3] https://github.com/BulouLiu/Conversational-vs-Traditional-Legal-Case-Retrieval

[4] Jeffrey Dalton, Chenyan Xiong, and Jamie Callan. 2020. TREC CAsT 2019: The Conversational Assistance Track Overview. arXiv preprint arXiv:2003.13624 (2020).

[5] Zamani H, Lueck G, Chen E, et al. Mimics: A large-scale data collection for search clarification[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management. 2020: 3189-3196.

[6] https://github.com/PengjieRen/CaSE_WISE

更多阅读

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：[e-mail] 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。